Voordat het huidige kasteel van Leeuwergem werd gebouwd was er op dezelfde locatie een ouder kasteel, opgetrokken in de eerste helft van de 15de eeuw. Dit kasteel werd in het begin van de 17de eeuw herbouwd en in de 18de eeuw vervangen.
Het omwald kasteel van Leeuwergem is één van de meest interessante en authentieke rococo realisaties in ons land. Het vormt een rustige vierhoek, links en rechts geflankeerd door fraaie bijgebouwen in dezelfde stijl. Het werd samen met het neerhof in 1724 gebouwd door de Gentse edelman Pieter Emmanuel d’Hane. De elegantie van het buitenaanzicht en het interieur wordt bepaald door de karakteristieke Lodewijk XV-stijl. Het park en de tuinen werden gedeeltelijk geïnspireerd op ontwerpen van de Franse tuinarchitect Le Nôtre. Uniek in ons land is het lovertheater, een openluchttheater, volledig aangelegd in haagbeuk, dat plaats biedt aan 800 personen. Het geheel geeft een beeld van de evolutie van de klassieke tuin naar de 19de eeuwse romantische parkaanleg.
Het kasteel van Leeuwergem, dat nagenoeg intact is gebleven en bewoond wordt door Baron Baudouin della Faille d'Huysse en Barones Pauline de Villenfagne de Vogelsanck, is vandaag nationaal erfgoed.